Morphing into Hybrid Attention Models
面向长上下文的混合注意力模型层选择优化
🧭 混合注意力模型自动化层选择
Fudan University · ByteDance Seed · The Chinese University of Hong Kong
提出FlashMorph，通过联合优化层门控自动选择全注意力层，构建高效长上下文混合模型
📌 工作参考价值（4 点）
- 在搜索推荐场景中处理用户长行为序列、多轮对话等长上下文时，可借鉴 FlashMorph 将全注意力模型转换为部分线性注意力的混合架构，在保留关键层全注意力的同时大幅降低推理成本。
- 层选择不再依赖手工规则，而是通过可学习门控在合成数据上端到端优化，能自动发现更优的混合配置，适合业务中快速适配不同长上下文任务。
- 线性化正则项显式鼓励模型信任线性注意力，防止门控退化成全注意力，可在部署时平衡效率与效果。
- 整个流程冻结原模型权重，仅优化门控和后续微调，实现成本低，便于在已有业务模型上低成本实验和上线。